MP
MarkTechPost • 41일 전
IMP 8
오픈마이토스: 770M 파라미터로 1.3B 모델 맞먹는 성능 구현
오픈소스 프로젝트 '오픈마이토스(OpenMythos)'는 클로드 마이토스(Claude Mythos) 아키텍처를 반복-깊이 트랜스포머(RDT) 이론에 기반해 코드로 처음 재구현한 결과물입니다. 이 모델은 동일한 가중치를 여러 번 반복 적용해 연산 깊이를 확보하는 방식을 사용하여, 770M 파라미터라는 적은 크기로도 1.3B 파라미터를 가진 기존 트랜스포머와 동등한 성능을 냅니다. 완전한 오픈소스로 공개되어 AI 아키텍처 설계의 새로운 가능성을 제시한다는 점에서 큰 의미를 갖습니다.
대형 언어 모델 오픈소스 트랜스포머 아키텍처